Anthropic a annoncé le lancement de la nouvelle fonction "mise en cache des invites" pour sa gamme de grands modèles linguistiques Claude, visant à réduire considérablement les coûts de l'IA pour les entreprises et à améliorer les performances. Cette fonction permet aux utilisateurs de stocker et de réutiliser des informations contextuelles spécifiques, sans coût supplémentaire ni augmentation de la latence. Dans le cadre d'un test public, cette fonctionnalité sera appliquée aux modèles Claude 3.5 Sonnet et Claude 3 Haiku, avec une réduction des coûts pouvant atteindre 90 % et un doublement de la vitesse de réponse dans certains cas. Cette fonction est particulièrement utile pour les applications nécessitant la conservation de...

L'API Anthropic ajoute une fonctionnalité de mise en cache des invites pour optimiser l'expérience utilisateur avec le modèle Claude. Cette fonctionnalité permet aux utilisateurs de mettre en cache les informations contextuelles fréquemment utilisées entre les appels d'API, réduisant considérablement les coûts et la latence des invites longues, jusqu'à 90 % et 85 % respectivement. Actuellement disponible en version bêta publique pour Claude 3.5 Sonnet et Claude 3 Haiku, elle sera étendue à Claude 3 Opus prochainement. Idéal pour les agents conversationnels, les assistants de codage, le traitement de documents volumineux et la recherche par agents. Tarification de la mise en cache des invites